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@ Verfahren zur Bestimmung von Bewegungsvektoren 

Das beschriebene Verfahren zur Bestimmung von Bewe- 
gungsvektoren wird bei der blockweisen Codierung von 
Videobildern angewendet Ein dem Codierer zugefuhrter 
Eingangsblock wird mit gleichgro&en Bildausschnitten des 
vorangegangenen Videobildes verglichen und dem Ein- 
gangsblock derjenige Vektor als Bewegungsvektor zuge- 
ordnet r der die Verschiebung von der Position des Ein- 
gangsblockes innerhalb eines VideobHdes zu demjenigen 
Bildausschnitt angibt, der die grofcte Ahnlichkeit mit dem 
Eingangsblock hat. 

Urn die Bewegungsvektoren fur samtliche Eingangsblocke 
eines Videobildes in nur einem Durchgang zu bestimmten 
und dabei ein glattes'Feld von Bewegungsvektoren zu erhal- 
ten, wird jedem Eingangsblock derjenige Vektor v als Bewe- 
gungsvektor zugeordnet, der die Summe aus dem Pradik- 

<tionsf ehler zwischen dem Eingangsblock und einem gesuch- 
ten Bildausschnitt sowie den gewichteten Abwetchungen 
O des Vektors v von schon bestimmten Bewegungsvektoren 
CO zum Minimum macht. Der gesuchte Bildausschnitt ist dabei 
U> derjenige Ausschnitt, der durch Verschiebung urn den Vek- 
^ torv aus der Position des Eingangsblocks hervorgeht. 
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1. Verfahren zur Bestimmung von Bewegungsvek- 
toren bei der blockweisen Codierung von Videobil- 
dern, bei dem ein Eingangsblock bi mit gleichgro- 
Ben Bildausschnitten des vorangegangenen Video- 
bildes verglichen wird, und dem Ein gangsblock bi 
derjenige Vektor als Bewegungsvektor v/zugeord- 
net wird, der die Verschiebung von der Position /zu 
demjenigen Bildausschnitt angibt, der die groBte 
Ahnlichkeit mit dem Eingangsblock bi hat, dadumrch 
gekennzeidhnet, 

daB unter der Ahnlichkeit zwischen dem Eingangs- 
block bi und einem gleichgroBen Bildausschnitt c 
der Ausdruck 

s-|* i -c| + L/*||3r-**| 



10 



15 



verstanden wird, wobei der erste Summand den 
Pradiktionsfehler angibt und der zweite Summand 
die mit Koeffizienten fk gewichtete Summe der Ab- 
weichungen eines Vektors v von schon bestimmten 
Bewegungsvektoren vt (k*i) anderer Eingangs- 
blocke darstellt, daB der Vektor v die Verschiebung 
von der Position / zur Position des Bildausschnittes 
c angibt und daB dem Eingangsblock bi derjenige 
Vektor v als Bewegungsvektor vi zugeordnet wird, 
der den Ausdruck fzum Minimum macht 

2. Verfahren nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die Summe im Ausdruck Ezwei Ter- 
me enthalt und es sich bei den schon bestimmten 
Bewegungsvektoren v/und v m um die Bewegungs- 
vektoren derjenigen Blocke handeit, die der Posi- 
tion /am nachsten liegcn. 

3. Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die in der Summe des Ausdrucks E 
verbleibenden beiden Koeffizienten //und //nderart 



charakterisierte Verfahren hat — wie weiter unten na- 
her erlautert werden wird — unter anderem der Nach- 
teil, daB besonders bei niedrigen Obertragungsbitraten 
(z. B. bei 64 kBit/s) die Bildqualitat sehr mangelhaft sein 
kann, weil bei der Wiedergabe von bewegten Objekten 
auf dem Bildschirm z. B. Blockrander storend sichtbar 
werden. 

Um derartige Stfirungen abzuschwachen, hat W. 
Geuen (Geuen, W.: Postprocessing of Motion Vektors." 
Poster des Forschungsinstitutes der Deutschen Bundes- 
post P.O. Box 5000, DE-6100 Darmstadt) vorgeschla- 
gen, daB auch der Gesamtheit aller Bewegungsvektoren 
eines Videobildes bestehende Vektorfeld nachtragiich 
zu giatten. Dabei wird von der Vorstellung ausgegan- 
gen, daB sich das Vektorfeld — wenn es der tatsfichli- 
chen Bewegung entspricht — von Block zu Block nur 
wenig andert, sofern die Bldcke benachbart sind. Aus- 
reiBer — also wesentliche Abweichungen eines Bewe- 
gungsvektors von den Bewegungsvektoren der Nach- 
barblocke — kommen nicht vor. Daher wird mit speziel- 
len Filtern nachtraglich das abgespeicherte Vektorfeld 
geglattet, d. h. t nach ihrer ublichen Bestimmung werden 
die Bewegungsvektoren durch ein spezielles Verfahren 
so abgeandert, daB Bewegungsvektoren benachbarter 
25 Blocke nur gering voneinander abweichen. In der Tat 
laBt sich die Bildqualitat damit verbessern. Zu beachten 
ist, daB mit der nachtraglichen Anderung der Bewe- 
gungsvektoren der Pradiktionsfehler (siehe weiter un- 
ten) nicht immer minimal ist 

Einen anderen Weg schlagen Brandt et al. ein (v. 
Brandt A., und Templer, W.: Optaining Smoothed Opti- 
cal Flow Fields by Modified Block Matching. 5th SCIA, 
Stockholm (1987) Juni 2-5, Seiten 523-529). Von die- 
sen Verf assern wird vorgeschlagen, beim Aufsuchen des 
Bewegungsvektors eines Blocks von vornherein anders 
vorzugehen. Wahrehd bisher die LI -Norm (naheres sie- 
he weiter unten) von Differenzbldcken minimiert wur- 
de, wird zu dieser Norm nun noch ein gesonderter Term 
addiert, der — zum Zwecke der Glattung - von den 
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verbleibenden Deiaen is.oernzienien//unu//nuci an a««.w.*, — — » - •:,u e „ a ni,Kor 

von den Bewegungsvektoren vi und v m abhangig 40 Komponenten, der Be ^ ng ^^ 
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gemacht werden, daB ein Koeffizient den Wert Null 
bekommt wenn der zugehorige Bewegungsvektor 
der Nullvektor ist und einen von Null verschiede- 
nen Wert bekommt wenn der zugehorige Bewe- 
gungsvektor nicht der Nullvektor ist 
4. Verfahren nach Anspruch 3, dadurch gekenn- 
zeichnet, daB die Bewegungsvektoren vf der Ein- 
gangsblocke bi in der Reihenfolge bestimmt wer- 
den, daB — angefangen bei einem Randblock — 
alle Blocke einer Blockzeile nacheinander in einer 
Richtung durchlaufen werden und daB die nachste 
Blockzeile in umgekehrter Richtung durchlaufen 
wird. 

Beschreibung 

Die Erfindung betrifft ein Verfahren zur Bestimmung 
von Bewegungsvektoren bei der blockweisen Codie- 
rung von Videobildern, bei dem ein Eingangsblock bi 
mit gleichgroBen Bildausschnitten des vorangegange- 
nen Videobildes verglichen wird, und dem Eingangs- 
block Z>/ derjenige Vektor als Be wegungs vektor v; zuge- 
ordnet wird, der die Verschiebung von der Position / zu 
demjenigen Bildausschnitt angibt der die groBte Ahn- 
lichkeit mit dem Eingangsblock £>;hat 

Ein solches Verfahren ist Ausgangsbasis einer Reihe 
von Verbesserungsvorschlagen bei der Codierung von 
Videobildern. Das durch die angegebenen Merkmale 
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ter Blocke abhangt. Als vorlaufiger Pradiktionsblock 
mit vorlaufigem Bewegungsvektor wird derjenige 
Block angesehen, der den Gesamtausdruck (Ll-Norm 
erweitert um den gesonderten Term) zum Minimum 
macht. Das Ergebnis wird — wie schon angedeutet — 
jedoch nicht als endgiiltig angesehen, sondern in theore- 
tisch unendlich vielen Durchgangen fttr das gesamte 
Bild wiederholt bis sich keine Anderungen mehr erge- 
bea Sodann wird die BlockgrdBe verringert und das 
Verfahren unter Verwendung des bisherigen Ergebnis- 
ses mit der verkleinerten BlockgrdBe wiederholt 

Der Erfindung liegt die Aufgabe zugrunde, ein Ver- 
fahren der eingangs genannten Art anzugeben, bei dem 
ein gegiattetes Feld von Bewegungsvektoren bei nur 
einmaligem Durchgang aller Blocke eines Videobildes 
erhalten wird. 

Diese Aufgabe wird dadurch geldst daB unter der 
Ahnlichkeit zwischen dem Eingangsblock bi und einem 
gleichgroBen Bildausschnitt c der Ausdruck 



60 



65 verstanden wird, wobei der erste Summand den Pradik- 
tionsfehler angibt und der zweite Summand die mit Ko- 
effizienten fk gewichtete Summe der Abweichungen ei- 
nes Vektors v von schon bestimmten Bewegungsvekto- 
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ren Vk (k-i) anderer Eingangsblocke darstellt, daB der 
Vektor ^die Verschiebung von der Position /zur Posi- 
tion des Bildausschnittes c angibt und daB dem Ein- 
gangsblock fcderjenige Vektor vals Bewegungsvektor 
* vi zugeordnet wird, der den Ausdruck fzum Minimum 
macht. 

Vorteilhafte Ausgestaltungen des erfindungsgema- 
Qen Verfahrens sind in den Unteranspruchen angege- 
ben. Anhand der Figur und eines Ausfuhrungsbeispieles 
soli die Erfindung naher erlautert werden. 

Die Figur zeigt einen Hybrid-Codierer, bei dem das 
erfindungsgemaBe Verfahren zur Anwendung kommt. 

Der Hauptzweck des in der Figur gezeigten Hybrid- 
codierers ist der, die von einer Video- Datenquelle kom- 
menden Videodaten mdglichst mit geringem Informa- 
tionsverlust in ein Signal mit mdglichst geringer Bitrate 
umzucodieren (vergleiche z. B. die deutsche Patentan- 
meldung DE 36 13 344). Bei diesem Vorgang werden 
zwei Codierungsprinzipien — daher der Name Hybrid- 
Codierer — angewendet: 

Das Interframe-Prinzip, bei dem die Korrelation zwi- 
schen zeitlich aufeinanderfolgenden Videobildern (diese 
Bezeichnung wird hier fur Voll- und Teilbilder verwen- 
det) ausgenutzt wird und 

das Intraframe-Prinzip, bei dem die Korrelation der Vi- 
deodaten innerhalb eines Videobildes ausgenutzt wird. 

Vor dem eigentlichen CodierungsprozeB ist eine Auf- 
bereitung der Daten erforderlich. Diese Aufbereitung 
wird bei dem Hybrid-Codierer nach der Figur durch 
eine Funktionseinheit PP (preprocessing) ubernommen. 
Die Daten werden in Blocken an den Codierer fiberge- 
ben. Ein jeder dieser Videodatenbldcke enthalt die Da- 
ten bestimmter Bildpunkte eines Videobildes, die als 
Elemente einer quadratischen Zahlenmatrix aufgefaBt 
werden und die einen in seiner Position festgelegten 
Ausschnitt aus einem Videobild darstellen (zur Bedeu- 
tung der hier verwendeten Begriffe im Zusammenhang 
mit Zahlenmatrizen vgl. Wigner, E.P.: Group Theory; 
Academic Press New York and London 1959, S. 1 —30). 

So kann z. B. ein Datenblock aus den Chrominan- 
zwerten der ersten acht Bildpunkte der ersten acht Zei- 
len eines Videobildes bestehen. Durch die Funktionsein- 
heit wird jedes Videobild in gleich groBe Datenblok- 
ke, d. h, in gleichgroBe Ausschnitte mit vorbestimmter 
Position, zerlegt. Die Zerlegungsvorschrif t laBt auch die 
Position — also z. B. die Mittelpunktskoordinaten — 
eines Datenblocks innerhalb eines gesamten Videobil- 
des erkennen. Der eben als Beispiel angefQhrte Daten- 
block konnte z. B. durch b\ symbolisiert werden, wobei 
der Index 1 als Kurzzeichen fQr die Mittelpunktskoordi- 
naten des Datenblocks aufgefaBt werden kann. Daten- 
bldcke von aufeinanderfolgenden Videobildern, die den 
gleichen Index haben, werden hier als sich entsprechen- 
de Datenblocke bezeichnet 

Mit dergleichen Bezeichnung sollen auch Datcnbl6k- 
ke aufeinanderfolgender Videobilder gemeint sein, de- 
ren Informationsinhalte die groBte Ubereinstimmung 
haben, deren Indices jedoch nicht iibereinzustimmen 
brauchen. In diesem Sinne sich entsprechende Daten- 
blocke spielen bei Hybrid-Codierern eine Rolle, bei de- 
nen ein sogenanntes blockmatching vorgenommen 
wird. Fur diese Variante von Hybrid-Codierern ist das 
vorliegende Verfahren gedacht. 

Bei der Obergabe eines Datenblockes z. B. des Daten- 
blocks b\ an einen Eingang eines Subtrahierers SR wird 
gleichzeitig der entsprechende Datenblock — symboli- 
siert z. B. durch b\ — des vorangegangenen Videobildes 
aus einem Bildspeicher BS an den anderen Eingang des 



Subtrahierers SR gegeben. In diesem Beispiel hat also 
der entsprechende Datenblock b\ den gleichen Index — 
also die gleiche Position — wie der Eingangsblock b\. 
Der Subtrahierer SR biidet die Differenz zwischen den 

5 beiden Bldcken im Sinne der Differenz zwischen zwei 
Matrizen (vgl. Wigner la, S.7); dieser Differenzblock 
wird nun weiteren Operationen unterworf en. 

Eine erste Opera tionseinheit OEi nimmt mit jedem 
Differenzblock eine Ahnlichkeitstransformation im Sin- 

io ne einer Matrbctransformation vor (vgl Wigner l.c, S. 9). 
Sei a das Symbol fur die Transformationsmatrix der 
Einheit OEI und d\ das Symbol fur die Matrix des Diffe- 
renzblockes — oder einfacher fur den Differenzblock — 
so liegt nach der Transformation am Ausgang der Ein- 

15 heit OE 1 der Block A = a" 1 d\ a an, wobei a 1 das Sym- 
bol fur die zu a inverse Matrix bedeutet. Die Transfor- 
mation durch die Einheit OEi entspricht etwa der Fou- 
rier-Transformation bei der akustischen Signalubertra- 
gung: der Block D\ kann meist mit weniger Biniirstellen 

20 codiert werden als der Block di. 

AnschlieBend durchlauft das transformierte Signal ei- 
nen Quantisierer Q, der nochmals fur eine Datenreduk- 
tion sorgt. Damit das gesamte Signal mit konstanter 
Bitrate an einen Empf anger ubertragen werden kann, ist 

25 ein Pufferspeicher Pvorgesehen. Ein Multiplexer MUX 
verschachtelt das aus dem Pufferspeicher Pausgelesene 
Nutzsignal mit Steuerinformationen, die im vorliegen- 
den Falle unter anderem zur Einstellung eines Quanti- 
sierers auf der Empfangerseite dienen (es handelt sich 

30 hier urn adaptive Quantisierer). Nach der Quantisierung 
wird das Signal auch uber einen Ruckkopplungsweg an 
den Eingang des Hybrid-Codierers zuruckgeschleift. 
Zunachst wird der durch den Quantisierer Q veranderte 
Block A durch eine nicht eingezeichnete Regenera- 

35 tionseinheit so weit regeneriert, daB er bis auf Run- 
dungsfehler mit dem ursprUnglichen Block A ubereins- 
timmt Sodann wird er durch eine zweite Operationsein- 
heit OE2 mit der Transformationsmatrix a 1 wieder in 
den Differenzblock d\ (ebenfalls bis auf Rundungsfeh- 

40 ler) zurucktransformiert Ein Addierer AR addiert zu 
diesem Block — wegen der Verbindung eines Ausgan- 
ges A des Bildspeichers BS mit einem Eingang des Ad- 
dierers AR — den Datenblock bu mit dem durch den 
Substrahierer SR der Differenzblock d\ gebildet wurde. 

45 Eventuelle Verzogerungen wegen endlicher Laufzeiten 
werden entweder durch Verzogerungsglieder oder 
Taktverschiebungen (beides in Fig. 1 nicht angedeutet) 
ausgeglichen. 

Wie sich leicht uberprufen laBt, ergibt sich am Aus- 

50 gang des Addierers AR der Datenblock b x (bis auf Run- 
dungsfehler) des gerade iiber die Funktionseinheit PP 
zugefuhrten Videobildes. Dieser Datenblock wird Uber 
einen Eingang £"des Bildspeichers SSin ihn eingelesen 
und ubernimmt dort die Rollc des Datenblockes bt, der 

55 nun geloscht wird 

Die Vorrichtung, die dem Aufsuchen des entspre- 
chenden Datenblocks — auch Pradiktionsblockgenannt 
— dient, ist Bestandteii des Bildspeichers BS. Dem Bild- 
speicher BS wird namlich uber eine gesonderte Zulei- 

60 tung — angedeutet durch die Verbindung des Ausgangs 
der Funktionseinheit PP mit dem Bildspeicher BS — 
ebenfalls der gerade erzeugte Eingangsblock bi mit der 
Position / innerhalb eines Videobildes zugeftihrt Ausge- 
hend von der Position / werden nun im Bildspeicher BS 

65 nacheinander alle diejenigen Bildausschnitte von der 
GroBe eines Eingangsblocks mit dem Eingangsblock bi 
verglichen, die sich aus der Position / durch Antragen 
eines der Vektoren eines vorgegebenen Satzes von 225 
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Verschiebungsvektoren gu g2 ... £"225 ergeben. Selbst- 
verstandlich enthalt dieser Satz von Vektoren auch den 
Nullvektor. 

Die sich durch die Verschiebung mit den Vektoren gu 
g2... 5225 ergebenden Bildausschnitte stimmen in ihrer 
Lage im allgemeinen nicht mit der Lage eines Blockes 
uberein, vielmehr sind diese Bildausschnitte gegen das 
Blockraster versetzt. Die minimale von Null verschiede- 
ne Versetzung ist so groB wie der Abstand zwischen 
zwei Bildpunkten. . 

Der Bildausschnitt des gespeicherten Bildes, der sich 
durch Verschiebung aus der Position /urn den Vektor V 
ergibt, soli mit c/(V)bezeichnet werden. Den Eingangs- 
block Z>/mit dem Block a(V) vergleichen heiBt zunachst, 
die LI -Norm des Differenzblockes Ui=bi-Ci(Y)zu bil- 
den. Darunter wird die Summe der Betrage aller Ele- 
mente des Differenzblockes verstanden, die durch die 
symbolische Schreibweise u/li angedeutet wird. Soli die 
Art der Norm offenbleiben, wird der Index LI fortgelas- 
sen Die Norm des oben angegebenen Differenzblockes 
wird auch Pradiktionsfehler genannt, weil der Block a 
(V) beim Codieren als Vorhersageblock (Pradiktions- 
block) fur den Block bi verwendet werden kann. Zu 
diesem Pradiktionsfehler werden noch zwei weitere 
Terme addiert, die vom gewichteten Unterschied des 25 
Vektors V zwischen zwei schon bekannten Vektoren vi 
und v m abhangen. Insgesamt ergibt sich nun der Aus- 
druck 

£s= || bi~Ci(V)\\ +//• II V-Vl || +/„ II V-Vm II. 30 

wobei hier das Symbol | ... II wiederum die Betragss- 
umme der Komponenten des Vektors bedeutet, der an 
der Stelle der Punkte stent Die Koeffizienten //und F m 
sind die Gewichte, mit denen die Norm der Differenz- 35 
vektoren gewichtet wird. Als Bewegungsvektor vj wird 
nun derjenige Verschiebungsvektor gu gt ^ £225 dem 
Eingangsblock bi zugeordnet, der - an der Stelle von V 
eingesetzt - den Ausdruck Ezum Minimum macht Die 
Vektoren vi und v m sind die Bewegungsvektoren jener 40 
schon bearbeiteter Eingangsbldcke, die der Position 1 
am nachsten liegen. Da zunachst unterstellt wird, daB - 
die Blocke eincs Videobildes von links nach rechts sowie 
von oben nach unten abgearbeitet werden, sind diese 
Vektoren den B16cken zugeordnet, von denen emer 
uber dem Block fc/iiegt und der andere links daneben. 

Ist der Block bi Randblock, wird mindestens emer der 
Vektoren v/oder v m durch den Nullvektor ersetzt. 

Werden die Bewegungsvektoren aller Blocke durch 
Minimierung des Ausdrucks E mit festen Koeffizienten 50 
// und f m gewonnen, so ergibt sich ein glattes Vektorf eld, 
das mit nur einem Durchgang durch alle Bldcke des 
Videobildes erhalten wird. Dennoch erhalt man bei der 
Bildwiedergabe Artefakte (nicht naher angebbare Bild- 
storungen) an den Obergangszonen zwischen bewegten 55 
und unbewegten Objekten. In diesem Bereich sind auf- 
grund der Veranderungen von Bild zu Bild groBe Bewe- 
gungsvektoren zu erwarten. Im Gegensatz dazu liefert 
der Ausdruck Emit festen Koeffizienten fi und f m zu oft 
Nullvektoren als Bewegungsvektoren. Zur Behebung eo 
dieses Nachteils ist vorgesehen, Koeffizienten // und f m 
in foigender Weise von den schon bestimmten Bewe- 
gungsvektoren vyund v m abhangig zu machen: 



Entsprechendes gilt f fir /m. 

Mit dieser Kopplung der Konstanten // und f m an die 
Vektoren vj und v m der schon abgearbeiteten Bldcke 
ergeben sich an den Randern bewegter Objekte zwar 
bessere Konturen als vorher, jedoch entstehen gerade 
an den Randern Bewegungsvektoren, die nicht anna* 
hernd mit der Richtung der Bewegungsvektoren im In- 
nern der bewegten Objekte iibereinstimmen. Diese 
AusreiBer von Vektoren treten nur dann auf, wenn man- 
sion bei der Abarbeitung eines Gesamtbildes von links 
dem bewegten Objekt nahert, also nur am hnken Rand 
des bewegten Objektes. Andert man die Richtung, in der 
die Bldcke abgearbeitet werden, so treten die AusreiBer 
nur am rechten Rand auf. Die beschriebenen AusreiBer 
von Vektoren ftihren zwar zu weniger starken Artefak- 
ten an den Randern bewegter Objekte als Nullvektoren, 
jedoch laBt sich auch der Rest an Artefakten noch besei- 
tigen, wenn folgende Reihenfoige der Abarbeitung ein- 
gehaltenwird: 

Man beginnt mit der ersten Blockreihe von links nach 
rechts in der obersten Reihe des Videobildes und arbei- 
tet die zweite Blockreihe in der entgegengesetzten 
Richtung durch. Die Abarbeitungsrichtung der dntten 
Reihe stimmt wieder mit der ersten Reihe uberein. Es 
wird also die Richtung der Abarbeitung geandert, so- 
bald man dabei an einen Rand des Bildes gerat. 
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fur v, = (0, 0) 
/ sonst 
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